网络规划及交换机配置

部署JCOS的服务器需要接入外部的交换机,通过外部交换机的vlan隔离组建网络。一般而言,JCOS平台的网络有6个,分别如下:

1、外网/浮动IP

外网是OpenStack集群与外界对接的唯一的网络,也就是客户的实际网络,而JCOS的其他网络实际上都是集群内部的私网,外界不可见。建议和客户协商,预留一些外网IP地址以供日后扩容。 外网IP提供给物理节点、web管理平台、部署控制器、虚拟路由器使用。

外网也承载了浮动IP网。OpenStack的浮动IP是从外网直接访问租户创建的虚拟机的渠道。用户可以从浮动池中申请浮动IP并绑定到虚拟机上,如果不为虚拟机绑定浮动IP,那么只能从虚拟机主动发起连接到外网,却不能主动从外网访问虚拟机。默认的浮动IP网和外网是同一个CIDR端,但是地址范围不能重合,且一个浮动IP网内的IP地址必须是连续的。如果有不连续的IP地址端,可以在部署结束后,自助地创建新的浮动IP网。控制节点所使用的外网IP地址可以是不连续的,但是需要在一个CIDR端内。

2、业务私网

业务私网是OpenStack租户创建的虚拟网络,是JCOS分配给虚拟机的真实网络,因此一般也叫做租户网络。虚拟机之间通过业务私网进行通信。一体机支持两种虚拟网络,VLANGRE隧道。如果使用VLAN,则需要在交换机上配置trunk口,如果使用GRE隧道,则无需配置交换机。

3、管理网

管理网是OpenStack云计算各组件之间通信所使用的网络。该网络承载了高可用集群的心跳和投票、数据库、消息队列、组件间API调用、虚拟机迁移,推荐使用10Gb或性能更好的以太网。

4、存储网

存储网是计算节点访问分布式存储时使用的网络,推荐使用10Gb或性能更好的以太网。分布式存储节点内部的数据冗余复制也需要使用该网络。

5、部署/PXE

部署网用于实现云平台的部署,将安装有部署端的服务器和待部署的服务器连接在同一个网络中,待部署的服务器通过PXE实现自动部署。服务器通过PXE方式安装操作系统及完成各个组件的安装与配置。

6IPMI

IPMI网是对物理机进行远程管理的网络,物理机会提供单独的IPMI网口,出厂时配置好静态IP地址和管理密码。一体机的计算节点高可用功能,需要使用该网络对物理机关机和重启。IPMI网口通常都是100Mb以太网。为了让管理方便,IPMI网可能需要和外网融合在一起,以便让用户远程操作物理机的电源状态,不用频繁去机房维护。

根据上述网络原理,云平台需要6张网,因此需要每个服务器节点具备6个网卡接口,但是一般情况下有些网络可以实现合并,比如管理网和业务私网合并,共用一个接口。而IPMI是一个特殊的独立接口,需要服务器具有该接口配置,普通接口无法实现IPMI功能。

在部署的时候,需要做如下规划。

1、网络/端口规划的规划

IPMI网可以外网融合在一起。如果将IPMI网和外网融合在一起,则需要和客户协商,从办公网络中留出一段给IPMI网络,并保证控制节点的外网IP能访问该段的IPMI网。将IPMI和外网融合在一起的好处是可以远程管理物理机的电源状态,在物理机配置出错时不用到机房去操作,可以远程控制物理机。

不同的逻辑网络可以用同一个物理网口承载,此种情况下会在操作系统上自动创建虚拟VLAN设备,对不同的逻辑网络打不同的VLAN标签。由于部署网需要使用DHCPPXE,在安装操作系统之前就需要连通,因此物理机无法在部署网上收发出带VLAN标签的流量,一般在对应的交换机端口上配置成Native或者Access 口。                          

业务私网使用VLAN4个物理网口的推荐配置

逻辑网络

  物理网口

  网口速率

 交换机端口VLAN配置

  部署网

业务私网 VLAN 6 - ...

  eth0

  1Gb

  Native VLAN 2

Trunk VLAN 6 - ...

  外网

  eth1

  1Gb

   / Access VLAN 5

  管理网

  eth2

  10Gb

   / Access VLAN 3

  存储网

  eth3

  10Gb

   / Access VLAN 4

外网上联口

 / Access VLAN 5

  IPMI

 / Access VLAN 5

业务私网使用VLAN2个物理网口的推荐配置 

  逻辑网络

  物理网口

  网口速率

 交换机端口VLAN配置  

  部署网

业务私网 VLAN 6 - ...

 存储网VLAN 5

  eth0

  10Gb

  Native VLAN 2

  Trunk VLAN 5- ...

外网 VLAN 3

管理VLAN 4

  eth1

  10Gb

  Trunk VLAN 3 - 4

  外网上联口

 / Access VLAN 3

PMI

Access VLAN 20

 

 

 

业务私网使用GRE隧道,4个物理网口的推荐配置                                                      

  逻辑网络

  物理网口

  网口速率

交换机端口VLAN配置

  部署网

业务私网

  eth0

  1Gb

  Access VLAN 2

  外网

  eth1

  1Gb

   / Access VLAN 5

  管理网

  eth2

  10Gb

   / Access VLAN 3

  存储网

  eth3

  10Gb

   / Access VLAN 4

  上联口

 / Access VLAN 5

IPMI

 / Access VLAN 5

业务私网使用GRE隧道,2个物理网口的推荐配置                                               

  逻辑网络

  物理网口

  网口速率

 交换机端口VLAN配置

部署网

业务私网

管理VLAN 3

  eth0

  10Gb

native VLAN 2

trunk vlan 3 

  外网 Untagged / VLAN 5

  eth1  

  10 Gb

Native VLAN 1 

Access VLAN 5

存储网VLAN 4

eth1

  10Gb

  Trunk VLAN 4

外网上联口

Native VLAN 1 

Access VLAN 5  

IPMI  

Native VLAN 1  Access VLAN 5

如果网卡有富余,可以考虑通过做bond来提高网络的吞吐量和可靠性。部署控制器的图形界面中可以通过勾选网卡来设置bond

2、网段的规划

由于只有外网与外部联通,因此一般只需要考虑外部网络的网段规划。

需要占用外部网络IP的包括虚拟机,节点IPweb管理IP,虚拟路由器IP。虚拟机数量越多占用的IP也就越多,因此在规划时需要根据规模进行IP地址的规划,并且这些IP地址是给云平台专用的,保证连续性和避免地址冲突。

其中虚拟机使用的IP,从浮动IP地址池中分配,虚拟机有多少个,就需要多少个浮动IP。浮动IP是连续的地址段。

每个节点都会有一个IP地址,云管理平台也会占用一个IP,该IP可以实现高可用,当存在节点宕机时,不影响管理平台的管理。

3、交换机配置

根据Jcos的部署原理,组网环境需要交换机。因此在实施之前需要根据网络规划准备交换机设备。

交换机的规格要求:

1、如果部署的服务器有万兆口,交换机也应具备万兆口。

2、交换机的端口数量要大于所有服务器的端口数量之和。

3、交换机的端口数量在满足部署要求的基础上应预留至少2个以上端口,以便后续进行扩容或者网络调整。

4、交换机必须是二层或者三层交换机,不能是傻瓜交换机。

5、连接交换机所需要的光模块、光纤、双绞线也要保质保量准备好。

在前面的网络规划一节中,已经针对不同网络形态(neutron vlanneutron gre)及不同端口下交换机的配置做了相应说明。

从以上示例可以看到,使用neutron gre时交换机配置很少,但使用neutron vlan时,连接业务私网的交换机端口需要配置成trunk模式。

注意:与传统数通网络中连接服务器的交换机端口一定配置成access或不配置不同,因节点交换机网卡形成了虚拟交换机,因此服务器连接交换机的端口按照交换机与交换机的连接,配置为trunk模式。

如果不同用途的网络共用同一张物理网卡,其连接的交换机端口也要配置成trunk模式,以区隔不同流量。这时要在fuel部署的网络设置中指明该网络使用了vlan标记,如下图所示:

IPMI则是专用的管理端口,需要识别DHCP流量,单独配置为access模式或native vlan